Regularization

Train Data에 너무 과하게 의존하지 않고, 일반화가 가능하도록 일종의 penalty를 가하는 방법.

Cost (h) \equiv Loss (h) + λ COMPLEXITY (h)

$h$ 는 Hypothesis이며, $Cost$ 를 최소화하는 $\hat{h} = ar g min_{h \in H} Cost (h)$ 를 찾는 데에 있다.

$λ$ : hyperparameter
$COMPLEXITY$ : regularization function, 모델의 복잡도를 더해 이를 penalty로 적용한다. 모델이 복잡해질 수록 새로운 데이터에 대해 Consistent해지기 어려워지므로, Overfitting를 막기위해 사용한다.